CLIMB: Confidence-Guided Complementary Evidence for Multimodal Retrieval-Augmented Generation
CLIMB：多模态检索增强生成中的置信度引导互补证据
🧭 多模态 RAG 互补证据与置信度控制
Rutgers University · Google
训练无关的多模态 RAG 框架，用互补证据池与置信度引导的迭代细化提升知识密集型视觉问答效果
📌 工作参考价值（4 点）
- 在商品图文问答、电商知识库检索中，可用 MMR 式去冗余代替单纯 Top-K，构建紧凑互补证据池，减少重复段落、提高信息覆盖。
- 多维度 critic 评分（相关性、证据特异性、跨模态对齐）比单一相似度更精细，可迁移到多模态商品信息或图文评论的检索排序。
- 置信度条件接受机制（只有置信度上升才更新答案）可作为 Agent 多轮检索-生成中的停止准则，避免无效迭代和 token 浪费。
- 训练无关、不改动底层 MLLM 与检索器，适合在现有 RAG 流程上快速灰度实验，验证推理侧优化收益。